我们提出了Pac-Bayes风格的概括结合，该结合可以用各种积分概率指标（IPM）替换KL-Divergence。我们提供了这种结合的实例，IPM是总变异度量和Wasserstein距离。获得的边界的一个显着特征是，它们在最坏的情况下（当前和后距离彼此远距离时）在经典均匀收敛边界之间自然插值，并且在更好的情况下（后验和先验都关闭时）优选界限。这说明了使用算法和数据依赖性组件加强经典概括界限的可能性，从而使它们更适合分析使用大假设空间的算法。

This short report reviews the current state of the research and methodology on theoretical and practical aspects of Artificial Neural Networks (ANN). It was prepared to gather state-of-the-art knowledge needed to construct complex, hypercomplex and fuzzy neural networks. The report reflects the individual interests of the authors and, by now means, cannot be treated as a comprehensive review of the ANN discipline. Considering the fast development of this field, it is currently impossible to do a detailed review of a considerable number of pages. The report is an outcome of the Project 'The Strategic Research Partnership for the mathematical aspects of complex, hypercomplex and fuzzy neural networks' meeting at the University of Warmia and Mazury in Olsztyn, Poland, organized in September 2022.

The selection of an optimal pacing site, which is ideally scar-free and late activated, is critical to the response of cardiac resynchronization therapy (CRT). Despite the success of current approaches formulating the detection of such late mechanical activation (LMA) regions as a problem of activation time regression, their accuracy remains unsatisfactory, particularly in cases where myocardial scar exists. To address this issue, this paper introduces a multi-task deep learning framework that simultaneously estimates LMA amount and classify the scar-free LMA regions based on cine displacement encoding with stimulated echoes (DENSE) magnetic resonance imaging (MRI). With a newly introduced auxiliary LMA region classification sub-network, our proposed model shows more robustness to the complex pattern cause by myocardial scar, significantly eliminates their negative effects in LMA detection, and in turn improves the performance of scar classification. To evaluate the effectiveness of our method, we tests our model on real cardiac MR images and compare the predicted LMA with the state-of-the-art approaches. It shows that our approach achieves substantially increased accuracy. In addition, we employ the gradient-weighted class activation mapping (Grad-CAM) to visualize the feature maps learned by all methods. Experimental results suggest that our proposed model better recognizes the LMA region pattern.

保存隐私的神经网络（NN）推理解决方案最近在几种提供不同的延迟带宽权衡的解决方案方面获得了重大吸引力。其中，许多人依靠同态加密（HE），这是一种对加密数据进行计算的方法。但是，与他们的明文对应物相比，他的操作即使是最先进的计划仍然很慢。修剪NN模型的参数是改善推理潜伏期的众所周知的方法。但是，在明文上下文中有用的修剪方法可能对HE案的改善几乎可以忽略不计，这在最近的工作中也证明了这一点。在这项工作中，我们提出了一套新颖的修剪方法，以减少潜伏期和记忆要求，从而将明文修剪方法的有效性带到HE中。至关重要的是，我们的建议采用两种关键技术，即。堆积模型权重的置换和扩展，使修剪能够明显更多的密封性下文并分别恢复大部分精度损失。我们证明了我们的方法在完全连接的层上的优势，其中使用最近提出的称为瓷砖张量的包装技术填充了权重，该技术允许在非相互作用模式下执行Deep NN推断。我们在各种自动编码器架构上评估了我们的方法，并证明，对于MNIST上的小均值重建损失为1.5*10^{ - 5}，我们将HE-SEAMABLE推断的内存要求和延迟减少了60％。

Deep learning (DL) is gaining popularity as a parameter estimation method for quantitative MRI. A range of competing implementations have been proposed, relying on either supervised or self-supervised learning. Self-supervised approaches, sometimes referred to as unsupervised, have been loosely based on auto-encoders, whereas supervised methods have, to date, been trained on groundtruth labels. These two learning paradigms have been shown to have distinct strengths. Notably, self-supervised approaches have offered lower-bias parameter estimates than their supervised alternatives. This result is counterintuitive - incorporating prior knowledge with supervised labels should, in theory, lead to improved accuracy. In this work, we show that this apparent limitation of supervised approaches stems from the naive choice of groundtruth training labels. By training on labels which are deliberately not groundtruth, we show that the low-bias parameter estimation previously associated with self-supervised methods can be replicated - and improved on - within a supervised learning framework. This approach sets the stage for a single, unifying, deep learning parameter estimation framework, based on supervised learning, where trade-offs between bias and variance are made by careful adjustment of training label.

我们为场景的生成模型提出了一个无监督的中级表示。该表示是中等水平的，因为它既不是人均也不是每图像。相反，场景被建模为一系列空间，深度订购的特征“斑点”。斑点分化在特征网格上，该特征网格被生成对抗网络解码为图像。由于斑点的空间均匀性和卷积固有的局部性，我们的网络学会了将不同的斑点与场景中的不同实体相关联，并安排这些斑点以捕获场景布局。我们通过证明，尽管没有任何监督训练，但我们的方法启用了诸如场景中的物体（例如，移动，卸下和修复家具），创建可行场景（例如，可靠的，Plaausible（例如，可靠），我们的方法可以轻松地操纵对象（例如，可行的情况）来证明这种紧急行为。带抽屉在特定位置的房间），将现实世界图像解析为组成部分。在充满挑战的室内场景的多类数据集上，Blobgan在FID测量的图像质量中优于图像质量。有关视频结果和交互式演示，请参见我们的项目页面：https：//www.dave.ml/blobgan

基础培训数据的质量对于建立具有更广泛的Generalizabilty的表演机器学习模型非常重要。但是，当前机器学习（ML）工具缺乏简化的流程，用于提高数据质量。因此，获取数据质量见解并迭代地修剪以获取最大代表下游使用情况的数据集的错误仍然是Ad-hoc手动过程。我们的工作解决了这种数据工具差距，需要纯粹通过以数据为中心的技术构建改进的ML工作流程。更具体地说，我们介绍了（1）在数据集中找到嘈杂或错误标记的样本的系统框架，（2）识别最具信息丰富的样本，当包含在训练中时，该样本将提供最大的模型性能提升。我们展示了我们在公共场合的框架以及两家财富500强公司的私营企业数据集的效果，并确信这项工作将形成ML团队执行更智能的数据发现和修剪的基础。

场景理解是一个活跃的研究区域。商业深度传感器（如Kinect）在过去几年中启用了几个RGB-D数据集的发布，它在3D场景理解中产生了新的方法。最近，在Apple的iPad和iPhone中推出LIDAR传感器，可以在他们通常使用的设备上访问高质量的RGB-D数据。这在对计算机视觉社区以及应用程序开发人员来说，这是一个全新的时代。现场理解的基本研究与机器学习的进步一起可以影响人们的日常经历。然而，将这些现场改变为现实世界经验的理解方法需要额外的创新和发展。在本文中，我们介绍了Arkitscenes。它不仅是具有现在广泛可用深度传感器的第一个RGB-D数据集，而且是我们最好的知识，它也是了解数据发布的最大的室内场景。除了来自移动设备的原始和处理的数据之外，Arkitscenes还包括使用固定激光扫描仪捕获的高分辨率深度图，以及手动标记为家具的大型分类的3D定向边界盒。我们进一步分析了两个下游任务数据的有用性：3D对象检测和色彩引导深度上采样。我们展示了我们的数据集可以帮助推动现有最先进的方法的边界，并引入了更好代表真实情景的新挑战。

保留隐私深度神经网络（DNN）推理是不同受监管行业的必要条件，如医疗保健，金融和零售。最近，同性恋加密（HE）已被用作在解决隐私问题的同时启用分析的方法。他能够通过加密数据安全预测。然而，与使用他的使用有几个挑战，包括DNN尺寸限制以及对某些操作类型的支持缺乏支持。最值得注意的是，在某些HE方案下不支持常用的Relu激活。我们提出了一种结构化方法来用二次多项式激活替换Relu。为了解决准确性的降级问题，我们使用预先训练的模型，该模型列举了另一个他友好的模型，使用诸如“可训练激活”功能和知识蒸馏等技术。我们使用用于Covid-19检测的胸部X射线和CT数据集，在AlexNet架构上展示了我们的方法。我们的实验表明，通过使用我们的方法，F1分数和用Relu培训的模型的准确性与He-insive模型之间的差距缩小到仅为1.1-5.3％的劣化。

保留保护解决方案使公司能够在履行政府法规的同时将机密数据卸载到第三方服务。为了实现这一点，它们利用了各种密码技术，例如同性恋加密（HE），其允许对加密数据执行计算。大多数他计划以SIMD方式工作，数据包装方法可以显着影响运行时间和内存成本。找到导致最佳性能实现的包装方法是一个艰难的任务。我们提出了一种简单而直观的框架，摘要为用户提供包装决定。我们解释其底层数据结构和优化器，并提出了一种用于执行2D卷积操作的新算法。我们使用此框架来实现他友好的AlexNet版本，在三分钟内运行，比其他最先进的解决方案更快的数量级，只能使用他。